Red Hat Summitリリースノート
Red Hat Ceph Storage 6.0 のリリースノート
概要
多様性を受け入れるオープンソースの強化
Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。まずは、マスター (master)、スレーブ (slave)、ブラックリスト (blacklist)、ホワイトリスト (whitelist) の 4 つの用語の置き換えから始めます。この取り組みは膨大な作業を要するため、今後の複数のリリースで段階的に用語の置き換えを実施して参ります。詳細は、Red Hat CTO である Chris Wright のメッセージ をご覧ください。
Red Hat Ceph Storage ドキュメントへのフィードバック (英語のみ)
Red Hat ドキュメントに対するご意見をお聞かせください。ドキュメントの改善点があればお知らせください。これを行うには、Bugzilla のチケットを作成します。
- Bugzilla の Web サイトに移動します。
- Component ドロップダウンメニューで、Documentation を選択します。
- Sub-Component ドロップダウンで、適切なサブコンポーネントを選択します。
- ドキュメントの適切なバージョンを選択します。
- Summary および Description フィールドに、ドキュメントの改善に関するご意見を記入してください。ドキュメントの該当部分へのリンクも追加してください。
- オプション: 添付ファイルを追加します (ある場合)。
- Submit Bug をクリックします。
第1章 概要
Red Hat Ceph Storage は、非常にスケーラブルでオープンなソフトウェア定義のストレージプラットフォームであり、最も安定したバージョンの Ceph ストレージシステムと Ceph 管理プラットフォーム、デプロイメントユーティリティー、およびサポートサービスを組み合わせたものです。
Red Hat Ceph Storage ドキュメントは、https://access.redhat.com/documentation/ja-jp/red_hat_ceph_storage/6 から入手できます。
第2章 謝辞
Red Hat Ceph Storage バージョン 6.0 には、Red Hat Ceph Storage チームの数多くの貢献が反映されています。さらに Ceph プロジェクトでは、Ceph コミュニティーの個人や組織からの貢献の度合いが質と量の両面で大幅に拡大しています。Red Hat Ceph Storage チームの全メンバー、Ceph コミュニティーの個々の貢献者、および以下の組織を含むすべての方々の貢献に謝意を表します。
- Intel®
- Fujitsu ®
- UnitedStack
- Yahoo ™
- Ubuntu Kylin
- Mellanox ®
- CERN ™
- Deutsche Telekom
- Mirantis ®
- SanDisk ™
- SUSE ®
第3章 新機能
本セクションでは、Red Hat Ceph Storage の今回のリリースで導入された主要な更新、機能拡張、新機能のリストを紹介します。
msgr2 プロトコルを使用した有線圧縮が利用可能になりました
今回のリリースでは、ストレージクラスター内のネットワーク操作を保護するために、ネットワーク上の暗号化に加えて、ネットワーク上の圧縮もサポートされています。
詳細は Red Hat Ceph Storage データセキュリティーおよび強化ガイド の 暗号化とキー管理 セクションを参照してください。
Python 通知が効率化されました
以前のリリースでは、現時点ではモジュールを必要としない未使用の通知がいくつかありました。これにより非効率が生じていました。
今回のリリースでは、NotifyType パラメーターが導入されました。これには、現時点でどのイベントモジュールが消費しているかがアノテーションとして付けられます (例: NotifyType.mon_map、NotifyType.osd_map)。結果として、モジュールが要求するイベントのみがキューに入れられます。どのモジュールも消費しないイベントが発行されます。上記の変更により、Python 通知がより効率的になりました。
pg_num への変更が制限されました。
以前のリリースでは、pgp_num を超える大規模な変更が pg_num に加えられた場合に、OSD 別の配置グループの制限に達し、エラーが発生する可能性がありました。
このリリースでは、OSD ごとの配置グループ制限の問題を回避するために、pg_num への変更が制限されています。
新しい pg_progress 項目が作成されて進行状況の更新に関する配置グループの統計すべてがダンプされなくなります。
以前のリリースでは、pg_dump 項目には不要なフィールドが含まれており、python-land にコピーすると CPU を浪費していました。これが原因で、ClusterState::lock の保持時間が長くなっていまし、ms_dispatch 遅延が伸びて一般的にプロセスが遅くなる傾向がありました。
今回のリリースでは、新しい pg_progress の項目が作成され、mgr tasks または progress が必要とするフィールドだけがダンプされるようになります。
mgr_ip は再フェッチされなくなりました
以前のリリースでは、アクティブな Ceph Manager モジュールの有効な間に mgr_ip を再フェッチする必要がありました。
今回のリリースでは、アクティブな Ceph Manager モジュールの有効な間に、mgr_ip は変更されないため、Ceph Manager にコールバックして再フェッチする必要はありません。
WORM 準拠がサポートされるようになりました
Red Hat は WORM 準拠をサポートするようになりました。
詳細は、S3 のオブジェクトロックの有効化 を参照してください。
ユーザーとバケットにレート制限を設定する
このリリースでは、Red Hat Ceph Storage クラスターでの操作に基づいて、ユーザーとバケットにレート制限を設定できます。詳細は、データ取り込みのレート制限 を参照してください。
persistent write log cache という名前の librbd プラグインでレイテンシーを軽減する
このリリースでは、Persistent Write Log Cache (PWL) という名前の新しい librbd プラグインが、SSD デバイスを対象とした永続的でフォールトトレラントなライトバックキャッシュを提供します。レイテンシーが大幅に短縮され、低い io_depths でのパフォーマンスも向上します。このキャッシュは、チェックポイントを内部で維持するログ順のライトバック設計を使用しているため、クラスターにフラッシュバックされる書き込みは、常にクラッシュ整合性が保たれます。クライアントキャッシュが完全になくなった場合でも、ディスクイメージには整合性がありますが、データは古くなったように見えます。
Ceph File System (CephFS) が、スナップショットの高可用性非同期レプリケーションをサポートするようになりました
以前は、ストレージクラスターごとに 1 つの cephfs-mirror デーモンのみがデプロイされていたため、CephFS はスナップショットディレクトリーの非同期レプリケーションのみをサポートしていました。
このリリースでは、複数の cephfs-mirror デーモンを 2 つ以上のノードにデプロイしてスナップショット同期の同時実行を実現できるため、高可用性が提供されます。
詳細は、Red Hat Ceph Storage File System Guide の Ceph File System ミラーリング セクションを参照してください。
BlueStore が V3 にアップグレードされました
このリリースでは、BlueStore オブジェクトストアが V3 にアップグレードされました。次の 2 つの機能があります。
- 割り当てメタデータは RocksDB から削除され、OSD 割り当てを使用してアロケーターオブジェクトの完全なデステージとして実行されるようになりました。
- キャッシュエイジビニングを使用すると、古いオノードには、ホットなワークロードデータよりも低い優先度が割り当てられる場合があります。詳細は、Ceph BlueStore を参照してください。
cephadm を使用してオペレーティングシステムのチューニングプロファイルを管理する
今回のリリースでは、cephadm を使用して、Red Hat Ceph Storage クラスターのパフォーマンスを向上させるためにオペレーティングシステムのチューニングプロファイルを作成および管理できます。詳細は、cephadm を使用したオペレーティングシステムのチューニングプロファイルの管理 を参照してください。
ファイルシステムを名前でマウントするための新しい cephfs-shell オプションが導入されました。
以前のリリースでは、cephfs-shell はデフォルトのファイルシステムのみをマウントできました。
今回のリリースでは、CLI オプションが cephfs-shell に追加され、kclient および ceph-fuse の mds_namespace= または fs= オプション のように、別のファイルシステムを名前を指定してマウントできるようになります。
Day 2 タスクは Ceph Dashboard から実行できるようになりました。
今回のリリースでは、Ceph Dashboard で、アクションの頻度を毎日または毎週とする必要がある Day 2 タスクを実行できます。今回の機能強化により、ダッシュボードの評価機能と顧客エクスペリエンスが向上し、その使いやすさと成熟度が強化されます。これに加えて、ユーザーがタスクを完了するための追加情報を取得する際に役立つ新しい画面上の要素も含まれています。
3.1. Cephadm ユーティリティー
cephadm を使用してカーネルパラメーターを管理するために追加された OS チューニングプロファイル
このリリースでは、ceph-ansible と同等の機能を実現するために、tuned プロファイル仕様を適用して、仕様に一致するホストで cephadm が OS チューニングパラメーターを設定できるようにします。
詳細は、cephadm を使用したオペレーティングシステムのチューニングプロファイルの管理 を参照してください。
ユーザーは、Prometheus 仕様で Prometheus TSDB 保持サイズと時間を簡単に設定できるようになりました
以前は、ユーザーはデフォルトの 15 日間の保持期間と Prometheus からのディスク消費を変更できませんでした。
このリリースでは、ユーザーは cephadm を介してこれらの設定をカスタマイズできるため、永続的に適用されるため、Prometheus インスタンスがデータを返す量と期間をユーザーが簡単に指定できるようになります。
これを実現するための形式は次のとおりです。
例
service_type: prometheus
placement:
count: 1
spec:
retention_time: "1y"
retention_size: "1GB"安全でないレジストリーを定義する Ansible Playbook が新たに追加されました
以前のリリースは、ネットワーク接続のないインストール環境で多数のホストを含む Red Hat Ceph Storage クラスターをデプロイする場合に、各ホストに /etc/containers/registries.conf ファイルを設定するのは面倒でした。
今回のリリースでは、/etc/containers/registries.conf ファイルで安全でないレジストリーを定義するための Ansible Playbook が新たに追加されました。そのため、この新しい Playbook を /etc/containers/registries.conf に設定できるため、ネットワーク接続のないインストール環境でこのような Ceph クラスターのデプロイがより簡単になりました。
3.2. Ceph Dashboard
rbd-mirroring 用の改善された Ceph Dashboard 機能が利用可能になりました
以前は、ユーザーインターフェイスからの Ceph Block Device Snapshot ミラーリングサポートはありませんでした。
今回のリリースでは、Ceph Dashboard の Ceph Block Device ミラーリングタブが強化され、以前はコマンドラインインターフェイス (CLI) にしか存在しなかった次の機能が追加されました。
- イメージのミラーリングの有効化または無効化のサポート
- アクションの昇格と降格のサポート
- イメージの再同期のサポート
- サイト名の編集とブートストラップキーの作成の視認性が向上しました。
-
何も存在しない場合に
rbd-mirrorを自動的に作成するためのボタンで設定される空白のページ。
新しいログ機能が Ceph Dashboard に追加されました
このリリースでは、Daemon Logs という名前の単一クラスターの集中ロギング機能が、Cluster → Logs セクションの下のダッシュボードに実装されています。これにより、ユーザーはログを効率的に監視しやすくなります。
Ceph Manager とそのモジュールの間に新しい TTL キャッシュが追加されます。
大きな Ceph クラスターは大量のデータを生成するため、クラスターが過負荷になり、モジュールが不適切になる可能性があります。
このリリースでは、Ceph Manager とそのモジュールの間に新しい TTL キャッシュが追加され、負荷を軽減し、クラスターが過負荷になるのを防ぎます。
Grafana に関する問題をトラブルシューティングするために、Ceph Dashboardに新しい情報メッセージが提供されます。
認証局によって署名された証明書ではなく、自己署名 TLS 証明書を使用して Grafana がデプロイされている場合、Chrome や Firefox などのほとんどのブラウザーでは、埋め込まれた Grafana iframe を Ceph Dashboard 内に表示できません。
これは、ブラウザー自体によって課されるセキュリティー上の制限です。Firefox などの一部のブラウザーでは、引き続きセキュリティー警告: Your connection is not secure が表示されますが、ユーザーは例外を受け入れて、埋め込まれた Grafana iframe を読み込むことができます。ただし、Chrome などの他のブラウザーは警告なしで失敗し、エラーメッセージが表示されないため、ユーザーは失敗に気付きません。
このリリースでは、新しい通知が Ceph Dashboard に表示されます。
If no embedded Grafana Dashboard appeared below, please follow this link to check if Grafana is reachable and there are no HTTPS certificate issues. You may need to reload this page after accepting any Browser certificate exceptions.プール内にある修復されたオブジェクトの数は、Prometheus メトリックで公開されます。
以前のリリースは、自動修復されたオブジェクトに関するデータは非効率なログ解析によって収集されていました。
今回のリリースでは、プールごとの修復されたオブジェクトの数が、Ceph Dashboard 上の Prometheus メトリックとして公開されるようになりました。
Ceph Dashboard には、特定の CephFS 操作に関するエラーが明確に表示されるようになりました。
以前のリリースでは、ファイルシステムディレクトリーに対して操作を実行しようとしたにも拘らず、権限がなかった場合に、Ceph Dashboard は一般的な 500 内部サーバー側エラーを報告していました。しかし、実際には、特定のユーザーの特定のアクションを阻止するパーミッションが同じであるため、これらのエラーはユーザーが原因によるものでした。
今回のリリースでは、ユーザーが不正な操作を実行しようとすると、権限エラーに関する明確な説明が表示されます。
ユーザーは、Prometheus でさまざまなストレージクラスの新しいメトリックを表示できるようになりました
このリリースでは、3 つの新しいメトリック ceph_cluster_by_class_total_bytes、ceph_cluster_by_class_total_used_bytes、および ceph_cluster_by_class_total_used_raw_bytes が、Prometheus のさまざまなストレージクラスに追加され、デバイスクラスによってフィルター処理されます。これは、パフォーマンスとインフラストラクチャーの容量を追跡するのに役立ちます。
WAL デバイスと DB デバイスは、フィルターを自動的に事前に選択するようになりました。
以前のリリースでは、ユーザーは選択した WAL または DB デバイスにフィルターを手動で適用する必要があり、これは繰り返しの作業でした。
今回のリリースでは、ユーザーがプライマリーデバイステーブルでデバイスを選択すると、WAL および DB デバイスに対して適切なフィルターが事前に選択されます。
アラートを停止するための新しいショートカットボタンが追加されました。
今回のリリースでは、ユーザーは新しく作成された通知オフのショートカットを使用して、Ceph Dashboard の通知バーにあるすべてのアラートに対して通知オフを作成できます。
ユーザーはダッシュボードから Ceph Object Gateway バケットにサーバー側の暗号化を追加できるようになりました。
以前のリリースでは、Ceph Dashboard には、Ceph Object Gateway バケットにサーバー側暗号化 (SSE) を追加するオプションがありませんでした。
今回のリリースでは、Ceph Dashboard を使用して Ceph Object Gateway バケットを作成する際に SSE を追加できるようになりました。
Cross-Origin Resource Sharing (CORS) 共有が使用できるようになりました。
以前のリリースでは、IBM の開発者は、REST API に設定された厳密な Cross Origin Resource Sharing (CORS) ポリシーが原因で、フロントエンドを使用して REST API を固定しようとしたときに Storage Insights 製品で問題に直面していました。
今回のリリースでは、cross_origin_url オプションが追加され、特定の URL に設定できるようになりました。REST API では、その URL とのみ通信できるようになりました。
例
[ceph: root@host01 /]# ceph config set mgr mgr/dashboard/cross_origin_url http://localhost:42003.3. Ceph ファイルシステム
ユーザーはサブボリュームグループのクォータを設定および管理できるようになりました。
以前のリリースでは、ユーザーは個々のサブボリュームにのみクォータを適用できました。
今回のリリースでは、特にマルチテナント環境で作業している場合、ユーザーは特定のサブボリュームグループのクォータを設定、適用、管理できるようになりました。
Ceph File System クライアントは、読み取り、書き込み、メタデータの平均レイテンシーを追跡できるようになりました。
以前のリリースでは、Ceph File System クライアントは、累積読み取り、書き込み、メタデータ遅延のみを追跡していましたが、読み取り、書き込み、およびメタデータの平均レイテンシーのほうがユーザーにはより有益です。
この機能を使用すると、クライアントは平均遅延の追跡を開始し、メタデータサーバーに転送して、perf stats コマンド出力および cephfs-top ユーティリティーに表示できます。
cephfs-top ユーティリティーが改善され、複数のファイルシステムがサポートされるようになりました。
以前のリリースでは、複数のファイルシステムを使用する cephfs-top ユーティリティーは信頼できませんでした。さらに、選択したファイルシステムのみのメトリックを表示するオプションはありませんでした。
この機能により、cephfs-top ユーティリティーは複数のファイルシステムをサポートし、特定のファイルシステムに関連するメトリックを表示するオプションを選択できるようになりました。
fs volume info コマンドを使用して、ボリュームに関する基本的な詳細を表示できるようになりました。
以前のリリースでは、Ceph File System には、ボリュームに関する基本的な詳細のみをリストするコマンドはありませんでした。
今回のリリースでは、fs volume info コマンドを実行することで、ボリュームに関する基本的な詳細をリスト表示できるようになりました。
Red Hat Ceph Storage ファイルシステムガイド の Ceph ファイルシステムボリュームに関する情報の表示 を参照してください。
サブボリュームのスナップショットの進行中または保留中のクローンをリスト表示できます。
以前のリリースでは、クローンのサブボリューム名を知っていて、clone status コマンドを使用して詳細を推測しない限り、サブボリュームスナップショットに対して進行中または保留中の一連のクローン操作を知る方法はありませんでした。
今回のリリースでは、特定のサブボリュームスナップショット名について、進行中または保留中のクローンをリストできるようになりました。
fs volume info コマンドで --human-readable フラグを使用できるようになりました。
以前のリリースでは、fs volume info コマンドを実行すると、すべてのサイズがバイト単位でのみ表示されていました。
今回のリリースでは、ユーザーは fs volume info コマンドを実行するときに単位とともにサイズを確認できるようになりました。
3.4. Ceph Object Gateway
新しい S3 バケットのライフサイクル通知が生成されるようになりました。
今回のリリースでは、S3 バケット通知が現行バージョンと非現行バージョンに対して生成され、削除マーカーの有効期限がライフサイクル処理によって生成されます。この機能は、他に使用する可能性のある用途の中でも特に、アプリケーションのワークフローに役立つ可能性があります。
オブジェクトは、設定されたライフサイクルルールに従って S3 クラウドエンドポイントに移行されます。
Red Hat Ceph Storage では、層タイプ cloud-s3 の特別なストレージクラスを使用して、データの移行先となるリモートクラウド S3 オブジェクトストアサービスを設定します。これらはゾーングループの配置ターゲットに関して定義され、通常のストレージクラスとは異なり、データプールを必要としません。
このリリースでは、ユーザーはストレージクラスを介して Ceph Object Gateway サーバーからリモート S3 クラウドポイントに Ceph Object Gateway オブジェクトを移行できます。ただし、このようなデータはリモートサーバーから戻すことができないため、移行は一方向です。
Ceph Object Gateway S3 ポリシーのエラーが有用になりました。
以前のリリースでは、Ceph Object Gateway S3 ポリシーのエラーメッセージは不透明で、あまり役に立ちませんでした。バージョンのアップグレード後にバケット内のデータにアクセスできないという最初の問題は、認識はされているものの、無効なプリンシパルが、取り込み時には通知なしに無視され、その後の使用時にはコード変更により拒否された結果であると思われます。
今回のリリースでは、ポリシーは詳細で役立つエラーメッセージを出力するようになりました。また、rgw-policy-check という新しいコマンドがあり、コマンドラインでポリシードキュメントをテストできます。新しいオプション rgw policy reject invalid principals はデフォルトで false に設定され、エラーなしで無視するのではなく、invalid principals on ingest only というエラーメッセージを出して拒否するようになりました。
バケットインデックスを更新すると、レベル 20 の Ceph Object Gateway ログメッセージが減少する
このリリースでは、値を追加しないメッセージを削除し、ログのサイズを縮小するためにバケットインデックスを更新するときに、Ceph Object Gateway レベル 20 のログメッセージが削減されます。
3.5. マルチサイトの Ceph Object Gateway
ライフサイクルポリシーがマルチサイト設定の全ゾーンで実行されるようになりました。
今回のリリースでは、マルチサイトの Red Hat Ceph Storage 設定の全ゾーンでライフサイクルポリシーが実行されるため、このような設定でのライフサイクル処理の弾力性が増します。今回の変更は、アーカイブゾーンでの条件付き処理などの新機能を許可するためにも加えられました。
マルチサイト設定で動的なバケットインデックスのリシャーディングに対応
以前のバージョンでは、マルチサイト設定のバケットの手動によるリシャーディングのみがサポートされるようになりました。
今回のリリースにより、動的バケットのリシャーディングがマルチサイト設定でサポートされるようになりました。ストレージクラスターがアップグレードされたら、resharding 機能を有効にし、ストレージクラスター内の他のゾーンとは別に、radosgw-admin bucket reshard コマンドを使用して手動で、または動的リシャーディングを使用して自動的にバケットをリシャーディングします。
サイトはロールインターフェイスを使用して STS max-session-duration パラメーターをカスタマイズできるようになりました。
以前のリリースでは、STS セッションの継続時間を制御する max-session-duration パラメーターがインターフェイスに公開されていなかったため、設定できませんでした。
今回のリリースでは、ロールインターフェイスを使用して STS の max-session-duration パラメーターをカスタマイズできるようになりました。
3.6. RADOS
Kafka SASL/SCRAM セキュリティーメカニズムがバケット通知に追加されました。
今回のリリースでは、Kafka SASL/SCRAM セキュリティーメカニズムがバケット通知に追加されました。
この機能の使用方法は、トピックの作成 の kafka セクションを参照してください。テストの場合、機能のエンドツーエンド設定は Ceph の範囲外であることに注意してください。
スロットル制限に達したことをユーザーに警告する低レベルのログメッセージが導入される
以前は、スロットル制限に達したことを示す低レベルのログ記録が不足していたため、これらの発生がネットワークの問題のように誤って表示されていました。
このリリースでは、低レベルのログメッセージの導入により、スロットル制限に達したことがより明確になります。
ユーザーは、ceph status および ceph health detail コマンドを介して、Filestore の非推奨について警告を受けます。
BlueStore は、デフォルトで広く使用されているオブジェクトストアです。
今回のリリースでは、Filestore に OSD がある場合、OSD_FILESTORE ヘルスチェックにより、ストレージクラスターは HEALTH_WARN ステータスになります。エンドユーザーは、Filestore にある OSD を BlueStore に移行して、この警告をクリアする必要があります。
ユーザーは、BlueStore の調整可能な KernelDevice バッファーを活用できるようになりました。
このリリースでは、BlueStore で bdev_read_buffer_alignment コマンドを使用して、読み取りバッファーのカスタムアライメントを設定できるようになりました。これにより、バッファーがヒュージページによってバックアップされることを意図している場合に、デフォルトの 4 KiB アライメントスペースによって課される制限が取り除かれます。
さらに、BlueStore は、KernelDevice を介して、キャッシュに適していないアクセスパターンを持つワークロード用の MAP_HUGETLB ベースの読み取りバッファーの bdev_read_preallocated_huge_buffer_num パラメーターを使用して設定可能なプールを取得します。
まとめると、これらの機能により、ストレージコンポーネントから NIC に渡されるスキャッターギャザーリストを短縮できるため、BlueStore での巨大なページベースの読み取りバッファーの処理が改善されます。
OSD は、遅い操作の詳細を集計形式で Ceph クラスターログに報告します。
以前は、低速なリクエストはクラスターログに詳細な情報を詰め込みすぎて、監視データベースがいっぱいになっていました。
このリリースでは、操作タイプ別およびプール情報別のスローリクエストが、集約された形式でクラスターログに記録されます。
ユーザーは、CIDR 範囲をブロックリストできるようになる
このリリースでは、個々のクライアントインスタンスと IP に加えて、CIDR 範囲をブロックリストに指定できます。特定の状況では、ブロックリストに個別のクライアントを指定するのではなく、データセンター全体またはラック全体ですべてのクライアントを拒否リストに指定する必要があります。
たとえば、ワークロードを異なるマシンセットにフェイルオーバーし、古いワークロードインスタンスが部分的に動作し続けるのを防ぎたいとします。
これは、既存の blocklist コマンドに類似した blocklist range を使用することで可能になりました。
3.7. RADOS ブロックデバイス (RBD)
librbd SSD ベースの永続的なライトバックキャッシュがレイテンシーを削減し、完全にサポートされるようになりました。
このリリースでは、pwl_cache librbd プラグインが、SSD デバイスを対象としたログ構造のライトバックキャッシュを提供します。PMEM デバイスを対象とした、すでに提供されているログ構造のライトバックキャッシュと同様に、イメージへの更新はバッチ処理され、順番にフラッシュされ、実際のイメージはクラッシュコンシステント状態に保持されます。利点と使用例は変わりませんが、ユーザーはそれらを利用するために高価な PMEM デバイスを調達する必要がなくなりました。
librbd の librbd compare-and-write 操作が改善され、新しい rbd_aio_compare_and_writev API メソッドが導入されました。
librbd compare-and-write C++ API のセマンティクスが C API のセマンティクスと一致するようになりました。
以前のリリースは、compare-and-write C++ API、つまり
Image::compare_and_writeメソッドとImage::aio_compare_and_writeメソッドは、比較バッファーのサイズまで比較していました。これにより、ストライプユニットの境界をまたぐと破損が発生する可能性があります。今回のリリースでは、compare-and-write C++ API は C API のセマンティクスと一致し、それぞれのバッファーが大きい場合でも、比較ステップと書き込みステップの両方が
lenバイトでのみ動作します。compare-and-write 操作は 512 バイトのセクターに制限されなくなりました。
今回のリリースでは、アクセスが適切に調整されている場合に、compare-and-write はストライプユニット上で動作できます。ストライプ単位はデフォルトで 4 MB です。
新しい
rbd_aio_compare_and_writevAPI メソッドが利用できるようになりました。今回のリリースでは、比較バッファーと書き込みバッファーの両方で scatter/gather をサポートするための
rbd_aio_compare_and_writevAPI メソッドが組み込まれており、既存のrbd_aio_readvおよびrbd_aio_writevメソッドを補完します。
階層化されたクライアント側暗号化がサポートされるようになりました。
今回のリリースでは、クローンイメージをそれぞれ独自の暗号化形式とパスフレーズで暗号化できるので、それらが親イメージとは異なる可能性があります。フォーマットされていない通常のクローンイメージに使用される、効率的な copy-on-write セマンティクスは保持されます。
第4章 バグ修正
本セクションでは、今回リリースされた Red Hat Ceph Storage で修正されたユーザーに大きな影響を及ぼすバグを説明します。また、セクションでは、以前のバージョンで見つかり修正された既知の問題を説明します。
4.1. Cephadm ユーティリティー
PID 制限が削除され、コンテナー内のワークロードがクラッシュしなくなります。
以前の Red Hat Enterprise Linux 9 デプロイメントでは、コンテナー内で実行できるプロセスの数を制限する pid 制限が適用されていました。このため、Ceph Object Gateway 同期などの特定の操作がクラッシュします。
今回の修正により、すべての Ceph コンテナーで pid limit が unlimited に設定され、コンテナー内のワークロードがクラッシュするのを防ぎます。
Cephadm は設定ファイルとキーリングファイルを無作為に一時削除しなくなりました。
以前のリリースでは、クライアント設定とキーリングを計算するタイミングが正しくなかったため、cephadm はどのホストにも設定とキーリングが配置されるべきではないと計算して、その後はそれらをすべて削除していました。
今回の修正により、計算のタイミングが変更され、計算の最新情報が保証されます。Cephadm は無作為でなくなり、管理対象の設定ファイルとキーリングファイルを一時的に削除します。
Ceph Object Gateway デーモンがループバックアドレスに正しくバインドされるようになりました
以前は、Ceph Object Gateway デーモンをバインドするためにホスト上で有効な IP アドレスを探すときに、cephadm がループバックインターフェイスを除外していたため、デーモンがループバックアドレスにバインドされませんでした。
今回の修正により、Ceph Object Gateway デーモンは、明示的なチェックを実行することでループバックアドレスにバインドできるようになりました。ループバックインターフェイスが検出された場合、IPv4 の場合は 127.0.0.1 アドレスが使用され、IPv6 の場合は ::1 がループバックアドレスとして使用されます。
Cephadm は、Ceph モニターストアのサイズ制限を超えた後、デバイス情報を複数のエントリーに分割するようになりました
以前は、cephadm はホストを更新できず、デバイス情報がモニターストアのデフォルトの最大サイズ制限である 64K を超えると、ほとんどの操作を完了できませんでした。これにより、エントリーサイズのエラーが発生しました。その結果、ディスクが多数あるホストがある場合には、デフォルトの制限を引き上げる必要がありました。
今回の修正により、cephadm は、サイズ制限よりも多くの領域を取得する場合に、デバイス情報を複数のエントリーに分割するようになりました。多数のディスクを持つホストがある場合は、モニターストアのエントリーサイズ制限を増やす必要がなくなりました。
クラッシュデーモンがクラッシュイベントを正しく記録し、ストレージクラスターに報告するようになりました
以前は、クラッシュレポートをストレージクラスターに送信するときにクラッシュデーモンが適切に認証されなかったため、クラッシュイベントを正しく記録してクラスターに送信できませんでした。
今回の修正により、クラッシュデーモンはクラッシュレポートの送信時に認証情報を適切に使用するようになりました。クラッシュイベントが正しく記録され、クラスターに報告されるようになりました。
cephadm.log のログローテーションで問題が発生しなくなりました。
以前は、/var/log/ceph ディレクトリーが cephadm 以外のもの (ceph-common や ceph-ansible など) によって作成された場合、logrotate コマンドで問題が発生していました。その結果、cephadm.log をローテーションできませんでした。
今回の修正により、root ユーザーとしてローテーションするために su root root が logrotate 設定に追加されました。logrotate コマンドで var/log/ ceph ディレクトリーの所有権に関する問題が発生しなくなったため、cephadm.log は期待どおりにローテーションされます。
Cephadm のログ設定が更新されました。
以前は、cephadm スクリプトはすべての出力を stderr に記録していました。その結果、デプロイメントの成功を示す cephadm ブートストラップログも stdout ではなく stderr に送信されていました。
今回の修正により、cephadm スクリプトは特定のコマンドに対して異なるロギング設定を持つようになり、ブートストラップに使用されるものはエラーのみを stderr に記録するようになりました。
ネットワークチェックにより、ホストが監視ネットワークから除外されなくなりました
以前は、cephadm がホストネットワークと設定済みのパブリックネットワークの一部との正確な一致を探すため、ネットワークチェックが失敗していました。これにより、有効なネットワーク設定を持つホスト (public_network に属するインターフェイスを持つホスト) が監視ネットワークから除外されました。
今回の修正により、完全一致を探す代わりに、ホストネットワークが設定済みのパブリックネットワークと重複しているかどうかがチェックされるため、有効なホストが監視ネットワークから除外されなくなりました。
cephadm は、ホストレベルで osd_memory_target 設定を削除しなくなる
以前は、osd_memory_target_autotune がグローバルにオフになっていた場合、cephadm はユーザーがホストレベルで osd_memory_target に設定した値を削除していました。さらに、FQDN 名を持つホストの場合、クラッシュマップで短い名前が使用されていても、cephadm は FQDN を使用して設定オプションを設定します。このため、ユーザーは osd_memory_target をホストレベルで手動で設定できず、osd_memory_target 自動チューニングは FQDN ホストでは機能しませんでした。
今回の修正により、osd_memory_target_autotune が false に設定されている場合、osd_memory_target 設定はホストレベルで cephadm から削除されません。また、ホストレベル osd_memory_target を設定するときは、常にホストの短い名前を使用します。ホストレベルで osd_memory_target_autotune が false に設定されている場合、ユーザーは手動で osd_memory_target を設定し、オプションが cephadm によって削除されないようにすることができます。さらに、FQDN 名で cephadm に追加されたホストで自動調整が機能するようになりました。
cephadm は Ceph OSD 設定ファイルを書き換えます
以前は、OSD の再デプロイ中に、cephadm は Ceph OSD に使用される設定を書き込まないため、Ceph モニターデーモンが追加または削除されたときに、OSD はその設定ファイルで更新されたモニター設定を取得しませんでした。
今回の修正では、OSD を再デプロイするときに cephadm が設定ファイルを自動的に書き換え、ユーザーの介入なしにモニターが追加または削除されると、OSD 設定ファイルが更新されてモニターの新しい場所が表示されます。
(BZ#2061697)
ユーザーは、明示的な配置にリストされているホストをドレインできるようになりました
以前は、明示的配置の一部としてリストされたホストを排出すると、ホストが適切に排出されず、排出が停止されるかホストが明示的配置から削除されるまで、トレースバックがログに記録されていました。
今回の修正により、明示的な配置の処理が内部的に実装され、cephadm はホストからデーモンを削除する必要があるかどうかを判断できるようになりました。その結果、ユーザーは最初に配置からホストを削除することなく、明示的な配置の一部としてリストされているホストを排出できるようになりました。
ただし、ユーザーは、ホストを完全に削除する前に明示的な配置からホストを削除する必要があります。そうしないと、ホストを明示的にリストする仕様を適用できません。
--apply -spec オプションがブートストラップ中に失敗すると、cephadm がゼロ以外のコードを返します
以前は、操作が完了した場合、cephadm ブートストラップは常にコード 0 を返しました。--apply-spec オプションを使用したデプロイでエラーが発生した場合、リターンコードにエラーが反映されませんでした。
今回の修正により、ブートストラップ中に仕様の適用が失敗した場合、cephadm はゼロ以外の値を返します。
(BZ#2061697)
複雑な OSD のデプロイメントや共有 DB デバイスとの交換を一度に行う必要がなくなりました。
以前のリリースでは、cephadm が OSD を作成するときに、以前の OSD の db デバイスとしてすでに使用されていたデバイスが、使用できないデバイスとして除外されました。その結果、全 OSD が DB としてデバイスを使用すべきであるにも拘らず、一度にデプロイされなかった複雑な OSD デプロイメントは、機能しなくなります。これは、OSD の仕様には沿っていませんが、後続の OSD を作成するときに DB デバイスがフィルタリングされてしまうためです。
今回の修正により、共有 DB デバイスを使用した複雑な OSD デプロイメントを一度に行う必要がなくなりました。OSD 仕様を更新して、仕様にすでにリストされている db デバイスとペアになる追加のデータデバイスを含める場合に、cephadm はこれらの新しい OSD を作成できるはずです。
cephadm によって無効な tuned-profile 仕様が検出された場合、適切なエラーが発生します
以前のリリースでは、cephadm は tuned-profile の YAML 仕様を検証しないため、無効な tuned-profile 仕様に無効なデータや欠落データを適用しても、エラーや警告が返されませんでした。
今回の修正により、tuned-profile 仕様を検証するためのいくつかのチェックが追加されました。cephadm によって無効な tuned-profile 指定が検出された場合、適切なエラーが発生するようになりました:
- YAML 仕様の設定の下に、無効なチューナブルが記載されています。
- YAML 仕様の設定セクションは空です。
- 無効な配置が検出されました。
(BZ#2061697)
4.2. Ceph Dashboard
Ceph Dashboard のホストデバイスの 有効期限 の列に正しい値が表示されるようになりました。
以前のリリースでは、ホストデバイスの 有効期限 列にはデフォルト値がなかったため、空の値が表示されていました。
今回の修正により、ホストデバイスの 有効期限 の列にデフォルト値が割り当てられ、列に正しい値が表示されるようになりました。
Ceph Object Gateway のサブユーザー権限を変更できるようになりました。
以前のリリースでは、リクエストが適切に実装されていなかったため、ユーザーは Ceph Object Gateway のサブユーザー権限を変更できませんでした。
今回の修正により、Ceph Object Gateway のサブユーザー権限を編集するリクエストが適切に実装されるため、ユーザーはサブユーザー権限を変更できるようになりました。
プールの全体的なパフォーマンスグラフは、Ceph Dashboard で正しい値を示します。
以前は、Ceph Dashboard プールの全体的なパフォーマンスグラフに関連するクエリーに問題があり、プールの概要に同じプールの複数のエントリーが表示されていました。
この修正により、関連するクエリーが修正され、プールの全体的なパフォーマンスグラフが正しい値を示します。
Ceph Dashboard は、NFS エクスポート作成のコマンドラインインターフェイス (CLI) の方法と連携するようになりました。
以前は、NFS エクスポート作成の squash フィールドが編集フォームの必須フィールドとして表示されていました。さらに、エクスポートがバックエンドから作成され、別の種類のスカッシュ名を指定した場合、フォームは空のフィールドを返します。
今回の修正により、required 条件が squash フィールドから削除され、編集フォームで空になる squash フィールドの問題も解決されるようになりました。
プール数が Ceph Dashboard に正しい値を表示する
以前は、プール数に関連するクエリーに問題がありました。Overall performance タブで、Ceph Dashboard にプール数が分数値として表示されました。
今回の修正により、関連するクエリーが修正され、プールカウントが Ceph Dashboard に正しい値を表示します。
新しいサービス名を作成するときに検証が必要です
以前のリリースは、Ceph Dashboard で新しいサービスを作成するときに検証が行われなかったため、ユーザーは既存の名前で新しいサービスを作成できました。これにより、既存のサービスが上書きされ、ユーザーはホスト上で現在実行中のサービスを失うことになります。
今回の修正により、ダッシュボードで新しいサービスを作成する前に検証が必要になり、既存のサービス名を使用できなくなりました。
Grafana での外部スナップショットの作成がデフォルトで無効になりました
以前は、外部 Grafana スナップショットを作成するとリンクが壊れていました。これにより、インフラストラクチャーが DDoS 攻撃に対して脆弱になる可能性があります。メトリックパターンを調べることで、誰かが環境に関する洞察を得ることができるからです。
今回の修正により、外部 Grafana スナップショットが無効になり、ダッシュボードの共有オプションから削除されました。
Ceph Dashboard でサービスを安全に unmanaged モードにできるようになりました
以前は、ユーザーがイングレスや SNMP などのサービスを unmanaged モードで作成または変更しようとすると、フォームは 500 エラーメッセージを返し、サービスの作成に失敗していました。これは、サービスが unmanaged に直接移行する場合でも、入力する必要のあるフィールドがフォームに表示されなかったために発生しました。
この修正により、フォームに必要なフィールドが表示されるようになり、検証も改善されたため、すべてのサービスを安全に unmanaged モードにすることができるようになりました。
Ceph Dashboard は、IP アドレスではなくホスト名を使用して安全に接続されるようになりました。
以前のリリースでは、Ceph Dashboard のオブジェクトゲートウェイセクションにアクセスしようとすると、500 - 内部サーバーエラーが出力されていました。このエラーは、Ceph Dashboard がホスト名ではなく IP アドレスによって Ceph Object Gateway デーモンへの HTTPS 接続を確立しようとした結果でした。HTTPS 接続を確立するには、サーバーのホスト名が TLS 証明書のホスト名と一致する必要があります。
今回の修正により、Ceph Dashboard は HTTPS 接続が正しく確立し、ホスト名を使用してオブジェクトゲートウェイに正常に接続できるようになりました。
ingress サービスの作成時に ceph-dashboard がユーザーにプロンプトを表示するようになりました
以前は、フロントエンドとモニターポートの値を指定せずにフォームを送信すると、イングレスサービスの作成が 500 内部サーバーエラーで失敗していました。その結果、Ceph Dashboard からイングレスサービスを作成できませんでした。
今回の修正では、Ceph ダッシュボードで ingress サービスを作成するときに、ceph-dashboard がユーザーにすべての必須フィールドへの入力を求めるプロンプトを表示します。
Ceph Dashboard のホストテーブルのサービスインスタンス列に、特定のホストにデプロイされたすべてのサービスが表示されるようになりました
以前は、Cluster → Hosts テーブルのサービスインスタンス列には ceph サービスのみが表示され、cephadm サービスは表示されませんでした。これは、フロントエンドが一部のサービスへのサブスクリプションを欠いていたためです。
今回の修正により、サービスインスタンス列には、Ceph Dashboard のホストテーブルの特定のホストにデプロイされたすべてのサービスが表示されるようになりました。
ユーザーが既存の名前でスナップショットを作成しようとすると、Ceph Dashboard で適切なエラーメッセージが表示されるようになりました。
以前のリリースは、Ceph Dashboard は既存の名前を使用した Ceph ファイルシステムスナップショットの作成を検証せず、500 - 内部サーバーエラーを出力していました。
今回の修正により、正しいエラーメッセージが追加され、ユーザーが既存の名前でスナップショットを作成すると、適切なエラーメッセージが出力されます。
Ceph ノードのネットワークパケットドロップアラートがダッシュボードに適切に表示されます。
以前のリリースでは、Ceph ノードのネットワークパケットドロップアラートに関連するクエリーに問題がありました。その結果、これらのアラートは Ceph Dashboard で頻繁に表示されます。
今回の修正により、関連するクエリーが原因で問題が発生しなくなり、Ceph ノードのネットワークパケットドロップアラートが適切に表示されるようになりました。
4.3. Ceph ファイルシステム
MDS デーモン はキューに入れられた作業ごとに各スレッドのハートビートをリセットするようになりました。
以前は、スレッドは、実行する作業が多い場合、mds_lock を長時間保持していました。これにより、他のスレッドがリソース不足になり、長時間スタックすることになりました。その結果、MDS デーモンは監視するハートビートを時間内に報告できず、クラスターから追い出されました。
今回の修正により、MDS デーモンは、キューに入れられた各作業の後に各スレッドのハートビートをリセットします。
同時ルックアップおよびリンク解除操作中に Ceph Metadata Server がクラッシュしなくなる
以前は、コードに配置されたアサーションの誤った想定により、Ceph クライアントからの同時ルックアップおよびリンク解除操作にヒットし、Ceph メタデータサーバーがクラッシュしました。
今回の修正により、アサーションは、ルックアップとリンク解除操作の同時実行中に仮定が有効な関連する場所に移動され、クラッシュすることなく Ceph クライアント操作を提供する Ceph メタデータサーバーが継続されます。
レプリカ MDS が作成された直後にクライアントが getattr クライアント要求を送信した場合、レプリカ MDS が停止することはなくなりました
以前は、レプリカ MDS の作成直後にクライアントが getattr クライアントリクエストを送信した場合、CInode がまだリンクされていないため、クライアントは #INODE-NUMBER のパスを作成していました。レプリカ MDS は、認証 MDS が mdlog をフラッシュし、最大 5 秒後に C_MDS_openc_finish および link_primary_inode が呼び出されるまで、再試行を続けます。
今回の修正により、レプリカ MDS が認証 MDS から CInode を見つけようとすると、見つからない場合は手動で mdslog flush がトリガーされます。
ユーザーが作成した Ceph File System サブボリュームグループは、サブボリュームグループを一覧表示するときに表示されるようになりました
以前は、Ceph ファイルシステム (CephFS) サブボリュームグループのリストには、ユーザーが作成した CephFS サブボリュームグループではなく、CephFS 内部グループが含まれていました。
今回の修正により、内部グループは CephFS サブボリュームグループリストからフィルタリングされます。その結果、ユーザーが作成した CephFS サブボリュームグループが表示されるようになりました。
保存されたスナップスケジュールは Ceph Storage から再ロードされます。
以前のリリースでは、Ceph Manager を再起動すると、保存ポリシーの仕様が Ceph Storage に保存されなかったため、失われていました。その結果、保持が機能しなくなります。
今回の修正により、スナップスケジュールに対するすべての変更が Ceph Storage に保持されるようになり、Ceph Manager が再起動されると、保存されたスナップスケジュールが Ceph Storage から再ロードされ、指定された保持ポリシー仕様で再起動されます。
(BZ#2061697)
RADOS オブジェクトを削除するための API が更新されました。
以前のリリースは、RADOS オブジェクトを削除するとプログラムがクラッシュし、ログにトレースバックが作成されていました。
今回の修正により、アップグレード後に RADOS オブジェクトが正しく削除されるように API が更新され、スタックトレースがログにダンプされなくなりました。
MDS は破損したすべての dentry を保存するようになりました。
以前は、メタデータサーバー (MDS) は、dirfrag に dentry の破損がない場合にのみ、その dirfrag の dentry を保存していました。その結果、最初に破損した dentry のみが破損テーブルに保存され、dirfrag 内のその後の破損は記憶されません。
今回の修正により、MDS は破損したすべての dentry を適切に保存できるようになりました。
ceph-mds デーモンがアップグレード中にクラッシュしなくなりました。
以前のリリースは、inode のリカバリー時にメタデータサーバーでの想定が間違っていることが原因で、Ceph メタデータサーバーデーモン (ceph-mds) がアップグレード中にクラッシュしていました。これにより、アップグレード中に ceph-mds が アサートに達しました。
今回の修正により、ceph-mds は inode のリカバリー中に正しい仮定を行うようになり、アップグレード中に ceph-mds がクラッシュしなくなります。
(BZ#2061697)
standby-replay メタデータサーバーデーモンが予期せず削除されることがなくなりました
これまで Ceph Monitor は、特定の条件下で MDS マップから standby-replay メタデータサーバー (MDS) デーモンを削除していました。これにより、standby-replay MDS デーモンが Metadata Server クラスターから削除され、クラスター警告が生成されていました。
今回の修正により、MDS マップからの MDS デーモンの削除を検討する際に Ceph Monitor で使用されるロジックに、ランクを保持している standby-replay MDS デーモンに関する情報が含まれるようになりました。その結果、standby-replay MDS デーモンが予期せず MDS クラスターから削除されることがなくなります。
subvolume snapshot info コマンドの出力に size フィールドがなくなりました。
以前のリリースは、subvolume snapshot コマンドの出力では、誤ったスナップショット size が返されていました。これは、snapshot info コマンドが、rstats に依存して、スナップショットサイズを追跡していることが原因でした。rstats はスナップショット自体ではなく、対応するサブボリュームからスナップショットのサイズを追跡します。
今回の修正により、rstats が修正されるまで snapshot info コマンドの出力から size フィールドが削除されます。
ディスクがいっぱいのシナリオで設定ファイルが破損しなくなりました。
以前のリリースでは、設定ファイルは一時ファイルを使用せずにディスクに直接書き込まれていました。これには、既存の設定ファイルで内容を省略して設定データを書き込む必要がありました。これにより、ディスクがいっぱいになると切り捨ては成功しましたが、新しい設定データの書き込みは no space エラーで失敗し、空の設定ファイルが生成されました。さらに、対応するサブボリュームに対する操作が失敗することになりました。
今回の修正により、設定データは一時設定ファイルに書き込まれ、元の設定ファイルに名前が変更されるため、元の設定ファイルの内容が切り捨てられることがなくなります。
不明なメッセージがある場合に MDS が中断されません。
以前のリリースでは、メタデータサーバー (MDS) は、理解できないメッセージを受信すると異常終了していました。その結果、悪意のあるクライアントは、新しいタイプのメッセージをサーバーに送信するだけでサーバーをクラッシュさせる可能性があります。これは、悪意のあるクライアントに加えて、新しいクライアントがサーバーに新しいメッセージを誤って送信するなど、プロトコルの問題が発生すると、新しいクライアントだけでなくシステム全体がクラッシュしていました。
今回の修正により、MDS はクライアントから不明なリクエストを受信した場合でも中断されなくなり、代わりにセッションを終了して、ブロックリストに登録し、クライアントを削除します。これにより、悪意のあるクライアントからのサービス拒否などの意図的な攻撃から MDS とシステム全体が保護されます。
NFS クライアントからのディレクトリーリスト表示が、NFS-Ganesha エクスポートで期待どおりに機能するようになりました。
以前のリリースでは、Ceph File System (CephFS) メタデータサーバー (MDS) は、ディレクトリー inode の ctime のみを変更する CephFS 操作中にディレクトリー inode の変更属性 (change_attr) がインクリメントされませんでした。そのため、NFS カーネルクライアントは、readdir キャッシュを無効する必要があるにも拘らず、無効にしません。これは、CephFS によってサポートされる NFS Ganesha サーバーが、ディレクトリーinode の変更属性値を誤って報告する場合があるためです。その結果、NFS クライアントは、CephFS によってバックアップされた NFS Ganesha エクスポートの古いディレクトリーの内容をリストします。
今回の修正により、CephFS MDS は操作中にディレクトリー inode の変更属性をインクリメントするようになり、NFS クライアントからのディレクトリーリストが CephFS をサポートする NFS Ganesha サーバーエクスポートに対して想定どおりに機能するようになりました。
CephFS は正しいディレクトリーにアクセスできるようになりました。
以前のリリースは、不適切な任意アクセス制御 (DAC) 管理により、UID が 0 であってもディレクトリーアクセスが拒否されていました。
今回の修正により、ディレクトリーユーザー、グループ、その他の実際の権限が UID 0 に対して許可されていない場合でも、UID 0 へのディレクトリーアクセスが許可されるようになりました。これにより、スーパーユーザー権限が効果的に付与され、UID 0 へのディレクトリーアクセスに対する Ceph File System (CephFS) の動作が正しく行われるようになります。
4.4. Ceph Volume ユーティリティー
ceph-volume inventory コマンドが失敗しなくなりました。
以前のリリースでは、物理ボリュームがボリュームグループのメンバーではない場合に、ceph-volume はボリュームを無視せず、処理を試みるため、ceph-volume inventory コマンドが失敗していました。
今回の修正により、ボリュームグループのメンバーではない物理ボリュームがフィルタリングされ、ceph-volume inventory コマンドが失敗しなくなりました。
(BZ#2061697)
4.5. Ceph Object Gateway
ユーザーは FIPS 環境で暗号化以外の目的で MD5 を使用できるようになりました
以前は、FIPS が有効な環境では、暗号化以外の目的で明示的に除外されていない限り、MD5 ダイジェストの使用はデフォルトで許可されていませんでした。このため、S3 の完全なマルチパートアップロード操作中にセグメンテーション違反が発生しました。
この修正により、S3 の完全なマルチパート PUT 操作のための FIPS 環境での非暗号化目的での MD5 の使用が明示的に許可され、S3 のマルチパート操作を完了することができます。
アクセス時に Ceph Object Gateway がクラッシュしなくなりました
以前は、不正な形式のバケット URL が常に初期化されていないバケット値への void ポインター逆参照を引き起こしたため、インプレースから割り当てられたバケットへの変更が原因で、Ceph Object Gateway が一部のアクセスでクラッシュしていました。
今回の修正により、Ceph Object Gateway は、権限チェックを実行する前にポインターが null でないことを適切にチェックし、初期化されていない場合はエラーを出力します。
z-amz-date 日付の形式を解析するコードが変更される
以前は、x-amz-date の標準形式が変更され、新しいソフトウェアが新しい日付形式を使用していたため、問題が発生していました。最新の go ライブラリーで構築された新しいソフトウェアでは、Ceph Object Gateway とは通信されません。
今回の修正により、x-amz-date 形式で日付を解析する Ceph Object Gateway のコードが変更され、新しい日付形式も使用できるようになりました。
(BZ#2061697)
Ceph Object Gateway の Swift 暗黙的テナント動作が復元されました。
以前のリリースでは、Swift テナント解析への変更により、Ceph Object Gateway の Swift の暗黙的テナント処理の失敗が発生していました。
今回の修正により、Swift テナントの解析ロジックが修正され、Swift の暗黙的なテナントの動作が復元されます。
(BZ#2061697)
Ceph Object Gateway は、長期間継続して実行した後にクラッシュしなくなりました
以前は、テーブルへのインデックスは、長期間継続して実行すると負になり、Ceph Object Gateway がクラッシュしていました。
今回の修正により、インデックスを負にすることができないので Ceph Object Gateway がクラッシュしなくなります。
変数アクセスにより、未定義のプログラム動作が発生しないように。
以前は、coverity scan は、 2 つのケースを特定します。移動後に変数が使用されることが原因で未定義のプログラム動作が問題を起こしていました。
この修正では、変数アクセスが修正され、潜在的な障害が発生しなくなりました。
(BZ#2061697)
4.6. マルチサイトの Ceph Object Gateway
マルチサイトが設定されている場合に、ロールとロールポリシーが透過的に複製されるようになりました。
以前のリリースは、S3 ロールとロールポリシーを複製するロジックが Ceph Object Gateway に実装されていなかったため、マルチサイト複製セットアップ内のゾーンで作成されたロールとロールポリシーは他のゾーンに透過的に複製されませんでした。
今回の修正により、ロールとロールポリシーのレプリケーションが実装され、マルチサイトの設定時に透過的にレプリケーションが行われるようになりました。
4.7. RADOS
バックフィル中の進行が遅く、CPU 使用率が高い問題が解決されました
以前は、OSD シャードで最小のインデックスを持つワーカースレッドは、アイテムが mClock キューからスケジュールされるまで、または通知されるまで待機する代わりに、メインのワーカーループに戻りました。これにより、ビジーループと高い CPU 使用率が発生しました。
この修正により、最小のスレッドインデックスを持つワーカースレッドが適切なロックを再取得し、通知されるまで、または mClock スケジューラーによって示される期間が経過するまで待機します。ワーカースレッドは、項目が mClock キューからスケジュールできるようになるまで、または通知されるまで待機し、メインのワーカーループに戻ることで、ビジーループを排除し、CPU 使用率が高い問題を解決します。
STS から返された一時認証情報を使用する場合にラージオブジェクトの名前変更が失敗しなくなりました。
以前のリリースでは、ラージオブジェクトの名前変更中の iam ポリシーの権限評価が間違っていたため、STS から返された一時的な認証情報が使用されると、ラージオブジェクトの名前変更が失敗していました。
今回の修正により、STS から返された一時認証情報を使用してラージオブジェクトの名前が変更されるときに、iam ポリシーが正しく評価されるようになりました。
小さな書き込みが遅延されるようになりました
以前は、Ceph はユニットの割り当て中に書き込みを遅延していました。アロケーションユニットが 64 K のように大きい場合は、小さな書き込みは遅延の対象にはなりませんでした。
今回の更新により、大きなアロケーションユニットが遅延している場合でも、小さな書き込みがディスクブロックで動作し、遅延されるようになりました。
モニターの数を減らしても Ceph Monitor がクラッシュしなくなりました。
以前のリリースでは、ユーザーが ceph orch apply mon NUMBER コマンドを使用してクォーラム内のモニターの数を減らすと、cephadm はシャットダウンする前にモニターを削除していました。Ceph は、モニターの削除前にシャットダウン中であると想定することが原因でアサーションがトリガーされていました。
今回の修正により、サニティーチェックが追加され、モニターの現在のランクがクォーラムランク以上の場合も対処できるようになりました。モニターはモニターマップに存在しなくなり、そのアドレスが存在しなくなったことが原因でモニターのピアはこのモニターに ping を送信しません。その結果、シャットダウン前にモニターが削除された場合に、アサーションはトリガーされません。
初期サービスマップを処理する Ceph Manager チェックが緩和されました
以前は、クラスターをアップグレードするときに、Ceph Manager は以前にアクティブだった Ceph Manager から複数の service_map バージョンを受信していました。これにより、新たにアクティブになったマネージャーが、以前にアクティブであったマネージャーが送信したバージョンよりも新しいバージョンでマップを受信してしまうと、コード内の不正なチェックが原因でマネージャーのデーモンがクラッシュしました。
今回の修正により、初期サービスマップを処理する Ceph Manager のチェックが緩和され、サービスマップが正しくチェックされるようになり、Ceph Manager のフェイルオーバー中にアサーションが発生しなくなります。
ceph --help コマンドでは、yaml フォーマッターが ceph orch コマンドに対してのみ有効であることを表示するようになりました。
以前のリリースでは、ceph config dump コマンドなど、ceph コマンドで有効な yaml 形式のオプションである ceph --help コマンドの仕様が欠けていることがわかりました。
今回の修正により、ceph --help コマンドの出力には、yaml フォーマッターが ceph orch コマンドに対してのみ有効であることが表示されます。
PG ログの破損した重複エントリーは、オフラインおよびオンラインのトリミングで削除できる
以前は、PG ログ重複エントリーのトリミングは、人間のオペレーターよりもはるかに高い頻度で PG オートスケーラーによって使用される低レベルの PG 分割操作中に阻止されていました。重複を取り除くと、PG ログのメモリー増大が大幅に増大し、OSD がメモリーが不足するとクラッシュしていました。OSD を再起動しても、PG ログはディスクに保存され、起動時に RAM に再ロードされるため、問題が解決されませんでした。
この修正により、オフライン (ceph-objectstore-tool コマンドを使用) とオンライン (OSD 内) の両方のトリミングで、オンラインのトリミング装置を妨害してメモリー増加の原因となっていた PG ログの破損した重複エントリーを削除できるようになりました。将来の調査に役立つように、重複エントリーの数を OSD のログに出力するデバッグの改善が実装されています。
starts メッセージが追加され、スクラブまたはディープスクラブプロセスが開始されたことを通知します。
以前は、starts メッセージがクラスターログにないため、配置グループ (PG) のスクラビングプロセスがいつ開始されたかをユーザーが判断できませんでした。これにより、PG のスクラブまたはディープスクラブにかかる時間を計算することが困難になりました。
この修正により、scrub starts または deep-scrub starts メッセージが表示され、PG のスクラブまたはディープスクラブプロセスが開始されたことをユーザーに通知します。
PG 自動スケーリングが無効になっている場合、autoscale-status コマンドで NEW PG_NUM 値が表示されなくなりました。
以前のリリースでは、PG 自動スケーリングが有効になっていない場合でも、autoscale-status コマンドは NEW PG_NUM 値を表示していました。これは、PG オートスケーラーが NEW PG_NUM 値をプールに適用したかのようにエンドユーザーに表示されていましたが、実際はそうではありません。
今回の修正により、noautoscale フラグが設定されている場合、New PG_NUM 値が autoscale-status コマンド出力に表示されなくなります。
ユーザーは、クラスターのアップグレード後に複製されたオブジェクトを削除できる。
以前は、クラスターを Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 にアップグレードした後、以前のバージョンで作成されたオブジェクトのスナップショットを削除すると、クローンが残り削除できませんでした。これは、SnapMapper キーが誤って変換されたためです。
この修正により、SnapMapper の従来の対話が新しいキー形式に一致するように更新され、以前のバージョンの Ceph で複製されたオブジェクトをアップグレード後に簡単に削除できるようになりました。
ceph daemon heap stats コマンドは、デーモンに必要な使用状況の詳細を返すようになりました。
以前のリリースは、ceph daemon osd.x heap stats コマンドは、Ceph デーモンの現在のヒープ使用量ではなく、空の出力を返していました。その結果、ユーザーは必要なヒープ使用量を取得するために ceph Tell heap stats コマンドを使用する必要がありました。
今回の修正により、ceph daemon heap stats コマンドが ceph tell コマンドを使用して得られるものと同様の Ceph デーモンのヒープ使用情報を返すようになりました。
Prometheus メトリクスは、要求されるたびにすべての Ceph Monitor の正しい Ceph バージョンを反映するようになりました。
以前のバージョンでは、Prometheus メトリクスは、モニターのアップグレード時に Ceph Monitor の一致しない Ceph バージョンを報告していました。その結果、この不整合を解決するには、アクティブな Ceph Manager デーモンを再起動する必要がありました。さらに、Ceph マネージャーは、handle_mon_map パラメーターを通じてモニターのメタデータを更新していました。これは、モニターがクラスターから削除または追加されたとき、アクティブな mgr が再起動されたとき、または mgr のフェイルオーバー時にトリガーされました。
今回の修正により、ceph mon metadata コマンドを使用した mon メタデータの取得に依存する代わりに、MON は mon メタデータを含むメタデータ更新リクエストを明示的に mgr に送信するようになりました。
再マッピング された配置グループに、正しいレプリカのセットが使用されるようになりました
以前は、再マッピング された配置グループの場合、誤ったレプリカのセットにスクラブ情報が照会され、存在しないはずの不一致が特定されて、スクラブプロセスが失敗していました。
今回の修正により、正しいレプリカのセットが照会されるようになりました。
対象の rank_removed が live_pinging および dead_pinging 状態でスタックしなくなりました
以前のリリースでは、場合によっては、モニターのランクが変更される前にモニターマップの paxos_size が更新されていました。たとえば、paxos_size は 5 から 4 に減りますが、モニターの最高ランクは 4 のままであるため、古いコードは、dead_pinging 状態からのランクの削除をスキップします。これが原因で、ターゲットのランクが dead_pinging のままになり、election strategy: 3 の peer_tracker スコアが異常な値になっていました。
今回の修正により、rank_removed == paxos_size() の場合に、ターゲットの Rank_removed を live_pinging と Dead_pinging 状態の両方から消去するケースが追加され、ランクが上記の状態でとどまることがなくなりました。
サイトのフェイルオーバー中に Ceph モニターが停止しなくなりました。
以前のリリースは、removed_ranks 変数では、モニターマップが更新されるたびにその内容が破棄されませんでした。そのため、2 サイトのストレッチクラスターにあるモニターが置き換えられ、サイトの片方がフェイルオーバーすることで、スコアに関連するランクなど、接続スコアが一致しなくなりました。
接続スコアに一貫性がない場合は、モニター選出期間中にデッドロックが発生し、Ceph が応答しなくなる可能性があります。これが発生すると、接続スコアに関連付けられたモニターランクをそれ自体で修正する方法がなくなります。
今回の修正により、removed_ranks 変数はモニターマップが更新されるたびにクリアされます。モニターが選出期間中にスタックすることはなくなり、モニターの交換時やサイトのフェイルオーバー時に Ceph が応答しなくなることもなくなりました。さらに、ceph daemon mon.NAME connection scores reset コマンドを使用して接続スコアを手動で強制的に修正する方法もあります。
ユーザーはレプリカの size を 1 に設定できるようになりました。
以前のリリースでは、ユーザーはプールの size を 1 に設定できませんでした。check_pg_num() 関数は、プールの予測配置グループ番号を誤って計算し、アンダーフローが発生しました。結果が誤っているため、pg_num が最大制限を超えているように見えていました。
今回の修正により、最近の check_pg_num() 関数の編集が元に戻され、アンダーフローが発生することなく計算が適切に動作するようになり、ユーザーはレプリカのサイズを 1 に設定できるようになりました。
require-osd-release フラグがクラスターのアップグレード後に適切なリリースに設定されていない場合、Ceph クラスターはヘルス警告を発行します。
以前のバージョンでは、アップグレード後に require-osd-release フラグの不一致を検出するコードのロジックが、コードのリファクタリング作業中に誤って削除されていました。アップグレード後の ceph -s 出力で警告が発生しないため、適切なリリースにフラグを設定せずにクラスターに加えられた変更により、配置グループ (PG) が特定の状態でスタックし、Ceph のメモリー消費が過剰に行われ、他の多くの問題を含む要求が遅くなっていました。
今回の修正により、require-osd-release フラグがクラスターのアップグレード後に適切なリリースに設定されていない場合、Ceph クラスターはヘルス警告を発行するようになりました。
(BZ#2061697)
4.8. NFS Ganesha
NFS-Ganesha パッケージは 4.0.8 バージョンに基づいています
今回のリリースでは、nfs-ganesha パッケージがアップストリームバージョン 4.0.8 に基づいており、以前のバージョンから多くのバグ修正と拡張が行われています。
第5章 テクノロジープレビュー
本セクションでは、Red Hat Ceph Storage の本リリースで導入または更新されたテクノロジープレビュー機能の概要を説明します。
テクノロジープレビュー機能は、実稼働環境での Red Hat サービスレベルアグリーメント (SLA) ではサポートされておらず、機能的に完全ではない可能性があるため、Red Hat では実稼働環境での使用を推奨していません。これらの機能は、近々発表予定の製品機能をリリースに先駆けてご提供することにより、お客様は機能性をテストし、開発プロセス中にフィードバックをお寄せいただくことができます。詳細は、Red Hat テクノロジープレビュー機能のサポート範囲 を参照してください。
Ceph OSD の QoS は mClock アルゴリズムに基づいています。
以前は、スケジューラーはデフォルトで Weighted Priority Queue (WPQ) に設定されていました。mClock アルゴリズムに基づくサービス品質 (QoS) は実験段階にあり、実稼働環境にはまだ推奨されていませんでした。
今回のリリースでは、mClock ベースの操作キューにより、クライアントの入出力 (I/O) やリカバリーまたはバックフィルなどの Ceph OSD 固有の操作や、pg scrub、snap trim、および pg deletionの他のバックグラウンド操作に QoS 制御を適用できるようになります。各サービスへのリソースの割り当ては、各 Ceph OSD の 1 秒あたりの入出力操作 (IOPS) 容量に基づいており、組み込みの mClock プロファイルを使用して実現されます。
本リリースには、以下の拡張機能が含まれます。
OSD の自動化ベースラインパフォーマンス測定を使用することで、Ceph OSD IOPS 容量が決定されます。これには、現実的ではない計測が検出された場合にデフォルトの容量にフォールバックする予防策が備えられています。バックグラウンドタスクのスリープスロットルを設定する必要がなくなりました。リカバリーおよび最大バックフィルオプションのデフォルト値が高く、オーバーライドフラグを使用してそれらをオーバーライドできるようになりました。mClock プロファイルを使用した設定セットでは、mClock および Ceph パラメーターの調整に関する複雑さを抑えることができます。
詳細は、Red Hat Ceph Storage 管理ガイドの mClock OSD スケジューラー を参照してください。
ユーザーは古いデータを AWS バケットにアーカイブできます。
今回のリリースでは、ユーザーはライフサイクル設定の一部として、Amazon Web Services (AWS) などのリモートクラウドサービスへのデータ移行を有効にすることができます。詳細は Amazon S3 クラウドサービスへのデータの移行 を参照してください。
S3 select のアプリケーションを Apache Parquet 形式に拡張します。
今回のリリースでは、CSV 用と Parquet 用の 2 つの S3 選択ワークフローがあり、CSV オブジェクトと Parquet オブジェクトを使用した S3 選択操作を提供します。詳細は、Red Hat Ceph Storage 開発者ガイド の S3 選択操作 を参照してください。
バケットの詳細なマルチサイト同期ポリシーがサポートされるようになりました
Red Hat は、バケットの詳細なマルチサイト同期ポリシーをサポートするようになりました。詳細は、Red Hat Ceph Storage Object Gateway Guide の Using multi-site sync policies セクションを参照してください。
サーバー側の暗号化がサポートされるようになりました。
今回のリリースでは、Red Hat はサーバー側の暗号化を管理するためのサポートを提供します。これにより、S3 ユーザーは、Amazon S3 が管理する暗号化キー (SSE-S3) を使用したサーバー側の暗号化を通じて、一意のキーで保存データを保護できるようになります。
ユーザーは、PutBucketEncryption S3 機能を使用して、オブジェクト暗号化を適用できます。
以前のリリースでは、データを保護するためにオブジェクトを強制的に暗号化するには、各リクエストにヘッダーを追加する必要がありましたが、これはすべての場合に不可能でした。
このリリースでは、PutBucketEncryption S3 アクションをサポートするように Ceph Object Gateway が更新されました。ユーザーは、各リクエストにヘッダーを追加せずに、Ceph Object Gateway で PutBucketEncryption S3 機能を使用できます。これは Ceph Object Gateway によって処理されます。
第6章 既知の問題
本セクションでは、Red Hat Ceph Storage の今回リリースで見つかった既知の問題を説明します。
6.1. Cephadm ユーティリティー
OS がサポートされていない場合、Cephadm は Red Hat Ceph Storage バージョンのアップグレードに失敗します。
現在、Cephadm はホストオペレーティングシステム (OS) を管理しないため、アップグレード中に、ユーザーがアップグレードしている Red Hat Ceph Storage バージョンが Ceph クラスターノードの OS でサポートされているかどうかは検証されません。
回避策として、Red Hat Ceph Storage バージョンがサポートされている OS を手動で確認し、OS および Red Hat Ceph Storage バージョンの推奨アップグレードパスに使用してください。これにより、ノードのホスト OS がその Red Hat Ceph Storage リリースでサポートされていない場合でも、Cephadm は警告やエラーを発生させることなくクラスターをアップグレードします。
6.2. Ceph Object Gateway
バケットを再シャーディングすると、バケットのメタデータが削除されます。
Bucket_index_max_shards が 0 としてバケットが作成された場合に、バケットを再シャーディングするとバケットのメタデータが削除されます。バケットインデックスを復元することで、影響を受けたバケットを回復できます。
回復は次の 2 つの方法で実行できます。
-
radosgw-admin object reindex --bucket BUCKET_NAME --object OBJECT_NAMEコマンドを実行します。 -
rgw-restore-bucket-index --proceed BUCKET_NAME DATA_POOL_NAMEのスクリプトを実行します。このスクリプトはradosgw-admin object reindex …を呼び出します。
上記の手順を実行した後、バケット内のオブジェクトの数が正しく反映されるように、バケット統計情報のバケットに対して radosgw-admin Bucket list または radosgw-admin radoslist コマンドを必ず実行してください。
スクリプトを実行する前に、cephadm シェル内で microdnf install jq を実行します。このツールは、バージョン管理されたバケットに対しては機能しません。
[root@argo031 ~]# time rgw-restore-bucket-index --proceed serp-bu-ver-1 default.rgw.buckets.data
NOTICE: This tool is currently considered EXPERIMENTAL.
`marker` is e871fb65-b87f-4c16-a7c3-064b66feb1c4.25076.5.
`bucket_id` is e871fb65-b87f-4c16-a7c3-064b66feb1c4.25076.5.
Error: this bucket appears to be versioned, and this tool cannot work with versioned buckets.
このツールの適用範囲は単一サイトのみに限定されており、マルチサイトでは機能しません。サイト 1 で rgw-restore-bucket-index ツールを実行すると、サイト 2 のオブジェクトは回復されません。逆の場合も同様です。マルチサイトでは、回復ツールとオブジェクトの再インデックスコマンドはバケットの両方のサイトで実行する必要があります。
6.3. Ceph Dashboard
Red Hat Ceph StorageDashboard には、ホストテーブルの一部のフィールドで NaN undefined と表示されます
現在、新しいホストが追加されると、そのデーモン、デバイス、その他の統計情報をロードするのに時間がかかります。この遅延の間に、ホストテーブルの一部のフィールドでデータが利用できなくなる可能性があります。その結果、拡張中にホストはそれらのフィールドに NAN undefined を追加します。
ホストテーブルの一部のフィールドでデータが利用できない場合は、N/A と表示されます。現時点では、この問題の回避策はありません。
SSD および NVMe デバイスを含むクラスターには、"Throughput-optimized" オプションが推奨される
以前は、クラスターに SSD デバイスのみ、または SSD と NVMe デバイスの両方がある場合は常に、throughput-optimized オプションが推奨されていました。
回避策として、ユーザーは希望する仕様に従って OSD をデプロイメントするために詳細モードを使用できます。この UI の問題を除いて、シンプルモードのすべてのオプションは引き続き使用できます。
6.4. マルチサイトの Ceph Object Gateway
マルチサイトのレプリケーションがアップグレード中に停止する場合があります。
アップグレードのプロセス中にクラスターが異なるバージョンにある場合に、マルチサイトのレプリケーションが停止することがあります。両方のクラスターが同じバージョンにアップグレードされるまで、同期を一時停止する必要があります。
6.5. RADOS
mlock_scheduler に は、HDD デバイス上で作成された小さなオブジェクトのワークロードと OSD に関するパフォーマンスの問題があります。
m Clock_scheduler には、小さなオブジェクトのワークロードや HDD デバイス上で作成された OSD に関するパフォーマンスの問題があります。このため、オブジェクトのワークロードが小さい場合に、進行中の回復操作が原因でクライアントのスループット影響があります。
Ceph OSD ベンチマークテストがスキップされる可能性があります。
現在、Ceph OSD ベンチマークテストの起動は、osd_m Clock_force_run_benchmark_on_init パラメーターが true に設定されていても実行されない場合があります。結果として、osd_m Clock_max_capacity_iops_hdd,ssd パラメーター値はデフォルト値で上書きされません。
回避策として、以下の手順を実施してください。
osd_m Clock_force_run_benchmark_on_initをtrueに設定します。例
[ceph: root@host01 /]# ceph config set osd osd_mclock_force_run_benchmark_on_init trueそれぞれの OSD の値を削除します。
構文
ceph config rm OSD.OSD_ID osd_mclock_max_capacity_iops_[hdd,ssd]例
[ceph: root@host01 /]# ceph config rm osd.0 osd_mclock_max_capacity_iops_hdd- OSD を再起動します
これにより、osd_m Clock_max_capacity_iops_ssd,hdd パラメーターがデフォルト値に設定されるか、しきい値設定内にある場合は新しい値が設定されます。
(BZ#2061697)
第7章 削除された機能
このセクションでは、Red Hat Ceph Storage のこのリリースで削除された機能の概要を説明します。
7.1. iSCSI
RBD iSCSI ゲートウェイのサポートは廃止されました。
このリリース以降、Red Hat Ceph Storage には iSCSI ゲートウェイコンポーネントが同梱されなくなります。RBD iSCSI ゲートウェイは、新しい RBD NVMEoF ゲートウェイが優先されるようになり、廃止されました。
第8章 ソース
更新された Red Hat Ceph Storage ソースコードパッケージは、以下の場所から入手できます。
- Red Hat Enterprise Linux 8 の場合: http://ftp.redhat.com/redhat/linux/enterprise/8Base/en/RHCEPH/SRPMS/
- Red Hat Enterprise Linux 9 の場合: https://ftp.redhat.com/redhat/linux/enterprise/9Base/en/RHCEPH/SRPMS/
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}